Análisis Exploratorio de Datos#
Importación de Librerías#
import pandas as pd
import glob
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from IPython.display import display
import plotly.express as px
from plotly.offline import plot
from plotly.subplots import make_subplots
import plotly.graph_objects as go
from scipy.stats import chi2_contingency
from scipy import stats
import plotly.subplots as sp
from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer
import warnings
import json
from urllib.request import urlopen
with urlopen('https://gist.githubusercontent.com/john-guerra/43c7656821069d00dcbc/raw/be6a6e239cd5b5b803c6e7c2ec405b793a9064dd/Colombia.geo.json') as response:
counties = json.load(response)
---------------------------------------------------------------------------
ModuleNotFoundError Traceback (most recent call last)
Cell In[1], line 1
----> 1 import pandas as pd
2 import glob
3 import numpy as np
ModuleNotFoundError: No module named 'pandas'
Funciones#
def DescribeCategoricas(data):
CategoricalColumns = data.select_dtypes(include=['object', 'category']).columns
Results = pd.DataFrame()
# Métricas para cada columna categórica
for col in CategoricalColumns:
# Resumen básico
UniqueValues = data[col].nunique()
TopValue = data[col].mode().values[0]
FreqTopValue = data[col].value_counts().iloc[0]
MissingValues = data[col].isnull().sum()
Results[col] = [UniqueValues, TopValue, FreqTopValue, MissingValues]
Results.index = ['Número de valores únicos', 'Valor más frecuente',
'Frecuencia del valor más frecuente', 'Valores faltantes']
return Results
def ResumenVariable(Data, Columna):
# Valores únicos
ValoresUnicos = Data[Columna].unique()
print(f"Valores únicos en {Columna}: {ValoresUnicos}")
# Valores faltantes
ValoresFaltantes = Data[Columna].isnull().sum()
print(f"\nValores faltantes en {Columna}: {ValoresFaltantes}")
def TablaNARelacionados(data, GrupoCol, FaltanteCol):
# Calcular los valores faltantes agrupados
MissingValues = data.groupby(GrupoCol)[FaltanteCol].apply(lambda x: x.isnull().sum())
MissingTable = pd.DataFrame(MissingValues).reset_index()
MissingTable.columns = [GrupoCol, f'Valores Faltantes en {FaltanteCol}']
display(MissingTable)
# Paleta de colores personalizada
PurplePalette = [
"#F7F4F9", # Más claro
"#DADAEB", # Claro
"#BCBDDC", # Medio claro
"#9E9AC8", # Medio
"#807DBA", # Medio oscuro
"#6A51A3", # Oscuro
"#54278F", # Más oscuro
"#3F007D", # Muy oscuro
"#2D004B", # Casi negro
"#1A0030" # Negro morado
]
# Diccionario de códigos de país a nombres (Top 10)
CodigosAPaises = {
'170': 'Colombia',
'862': 'Venezuela',
'76': 'Brasil',
'218': 'Ecuador',
'604': 'Perú',
'308': 'Granada',
'840': 'Estados Unidos',
'140': 'República Centroafricana',
'500': 'Montserrat',
'480': 'Mauricio',
'000': 'Desconocido'
}
# Diccionario de códigos de CBMTE a nombres (Top 10)
CodigosADescripciones = {
'0000': 'Pacientes vivos',
'A419': 'Sepsis no especificada',
'R571': 'Shock hipovolémico',
'I469': 'Paro cardiaco',
'R456': 'Violencia física',
'R98X': 'Muerte sin asistencia',
'8888': 'Desconocido',
'E43X': 'Desnutrición proteicocalórica',
'9999': 'Sin dato',
'A09X': 'Diarrea y gastroenteritis infecciosas',
'R092': 'Paro respiratorio'
}
OrdenCategorias = ['0 días', '1-7 días', '8-30 días', '31-365 días', '1-2 años', '> 2 años']
import pandas as pd
import plotly.express as px
def PlotMissingValues(data):
# Porcentaje de valores faltantes
MissingPercentage = (data.isnull().sum() / len(data)) * 100
MissingPercentage = MissingPercentage[MissingPercentage > 0]
MissingPercentage = MissingPercentage.sort_values(ascending=False)
# Gráfico de barras interactivo
fig = px.bar(
MissingPercentage,
x=MissingPercentage.index,
y=MissingPercentage.values,
labels={'x': 'Variables', 'y': 'Porcentaje de Valores Faltantes (%)'},
title='Porcentaje de Valores Faltantes por Variable',
color=MissingPercentage.values,
color_continuous_scale=PurplePalette,
text=MissingPercentage.values.round(2)
)
max_value = MissingPercentage.max()
y_axis_max = (max_value // 5 + 1) * 5
y_axis_max = max(y_axis_max, 10)
y_axis_max = y_axis_max + 10
# Personalización del gráfico
fig.update_layout(
xaxis_title='Variables',
yaxis_title='Porcentaje de Valores Faltantes',
title_font_size=24,
xaxis_tickangle=-45,
plot_bgcolor='white',
paper_bgcolor='white',
font=dict(
family="Georgia",
size=14,
color="black"
),
title_font=dict(
family="Georgia",
size=24,
color="black"
),
yaxis=dict(range=[0, y_axis_max])
)
fig.update_traces(textposition='outside')
fig.show()
def CompararDistribucionPaises(DataAntes, DataDespues, ColumnaCodPais, CodigosAPaises, Top=10):
import warnings
import plotly.graph_objects as go
import plotly.subplots as sp
warnings.filterwarnings("ignore")
# Obtener los top valores más frecuentes antes y después de la imputación
top_antes = DataAntes[ColumnaCodPais].value_counts().nlargest(Top).index
top_despues = DataDespues[ColumnaCodPais].value_counts().nlargest(Top).index
# Filtrar los datos para incluir solo los top valores más frecuentes
data_antes_top = DataAntes[DataAntes[ColumnaCodPais].isin(top_antes)]
data_despues_top = DataDespues[DataDespues[ColumnaCodPais].isin(top_despues)]
# Eliminar el ".0" de los valores en la columna de códigos y reemplazar con nombres de países
data_antes_top[ColumnaCodPais] = (
data_antes_top[ColumnaCodPais]
.astype(str)
.str.replace('.0', '', regex=False)
.replace(CodigosAPaises)
)
data_despues_top[ColumnaCodPais] = (
data_despues_top[ColumnaCodPais]
.astype(str)
.str.replace('.0', '', regex=False)
.replace(CodigosAPaises)
)
# Calcular las frecuencias de cada categoría
counts_antes = data_antes_top[ColumnaCodPais].value_counts().sort_values(ascending=False)
counts_despues = data_despues_top[ColumnaCodPais].value_counts().sort_values(ascending=False)
# Crear los subplots
fig = sp.make_subplots(
rows=1, cols=2,
subplot_titles=("Distribución antes de imputar", "Distribución después de imputar")
)
# Gráfico de barras antes de imputar, con etiquetas sobre cada barra
fig.add_trace(
go.Bar(
x=counts_antes.index,
y=counts_antes.values,
text=counts_antes.values,
textposition='outside', # Ubica el texto en la parte superior de la barra
textangle=0, # Orientación horizontal del texto
textfont=dict(color='black'),# Color de la fuente en negro
marker_color='#9c89b8', # Ejemplo de color (puedes cambiarlo según tu paleta)
name="Antes"
),
row=1, col=1
)
# Gráfico de barras después de imputar, con etiquetas sobre cada barra
fig.add_trace(
go.Bar(
x=counts_despues.index,
y=counts_despues.values,
text=counts_despues.values,
textposition='outside',
textangle=0,
textfont=dict(color='black'),
marker_color='#5e548e', # Otro color para diferenciarlos
name="Después"
),
row=1, col=2
)
# Personalización del gráfico
fig.update_layout(
title_text="Distribución antes y después de la imputación (COD_PAIS_R)",
title_font_size=24,
plot_bgcolor='white',
paper_bgcolor='white',
font=dict(
family="Georgia",
size=14,
color="black"
),
title_font=dict(
family="Georgia",
size=24,
color="black"
),
showlegend=False
)
# Configuración de los ejes en escala logarítmica
fig.update_yaxes(type="log", row=1, col=1)
fig.update_yaxes(type="log", row=1, col=2)
# Ajustes para las etiquetas del eje x
fig.update_xaxes(tickangle=45, categoryorder='total descending', row=1, col=1)
fig.update_xaxes(tickangle=45, categoryorder='total descending', row=1, col=2)
fig.show()
def GraficarDistribucionCategorias(data, columna_categoria, orden_categorias=None):
# Crear un DataFrame con la frecuencia de las categorías
frecuencia_categorias = data[columna_categoria].value_counts().reset_index()
frecuencia_categorias.columns = [columna_categoria, 'Frecuencia']
# Definir el orden de las categorías
if orden_categorias:
frecuencia_categorias[columna_categoria] = pd.Categorical(
frecuencia_categorias[columna_categoria],
categories=orden_categorias,
ordered=True
)
frecuencia_categorias = frecuencia_categorias.sort_values(columna_categoria)
# Crear el gráfico de barras
fig = px.bar(
frecuencia_categorias,
x=columna_categoria,
y='Frecuencia',
labels={columna_categoria: 'Categoría de diferencia', 'Frecuencia': 'Frecuencia'},
title='Distribución de las categorías de diferencia',
color=columna_categoria,
color_discrete_sequence=PurplePalette
)
# Personalización del gráfico
fig.update_layout(
xaxis_title='Categoría de diferencia',
yaxis_title='Frecuencia',
plot_bgcolor='white',
paper_bgcolor='white',
font=dict(family="Georgia", size=14, color="black"),
title_font=dict(family="Georgia", size=24, color="black"),
showlegend=False
)
fig.show()
def PlotDateComparisonSubplots(date_var, data_before, data_after):
# Agrupar y contar registros por fecha en cada dataset
df_before = (
data_before.groupby(date_var).size().reset_index(name='Cuenta_Before')
)
df_after = (
data_after.groupby(date_var).size().reset_index(name='Cuenta_After')
)
# Convertir a formato datetime si no lo está
df_before[date_var] = pd.to_datetime(df_before[date_var])
df_after[date_var] = pd.to_datetime(df_after[date_var])
# Ordenar por fecha
df_before = df_before.sort_values(date_var)
df_after = df_after.sort_values(date_var)
# Crear subplots con un título en cada uno
fig = make_subplots(
rows=1,
cols=2,
subplot_titles=(
"Antes de la imputación",
"Después de la imputación"
),
shared_yaxes=True
)
# ---- Subplot 1: Antes de la imputación ----
fig.add_trace(
go.Scatter(
x=df_before[date_var],
y=df_before['Cuenta_Before'],
mode='lines',
line_shape='spline',
line=dict(width=3, color=PurplePalette[3]),
name="Antes"
),
row=1,
col=1
)
# ---- Subplot 2: Después de la imputación ----
fig.add_trace(
go.Scatter(
x=df_after[date_var],
y=df_after['Cuenta_After'],
mode='lines',
line_shape='spline',
line=dict(width=3, color=PurplePalette[5]),
name="Después"
),
row=1,
col=2
)
# Ajustar layout general
fig.update_layout(
title={
'text': f"Comparación del inicio de síntomas antes y después de la imputación",
'y':0.95,
'x':0.5,
'xanchor': 'center',
'yanchor': 'top'
},
font=dict(
family="Georgia",
size=14,
color="black"
),
title_font=dict(
family="Georgia",
size=24,
color="black"
),
plot_bgcolor='white',
paper_bgcolor='white',
showlegend=False,
)
fig.update_xaxes(
showline=True,
linewidth=1,
linecolor='black',
gridcolor='lightgray',
tickangle=-45,
title_text="Fecha",
row=1,
col=1
)
fig.update_xaxes(
showline=True,
linewidth=1,
linecolor='black',
gridcolor='lightgray',
tickangle=-45,
title_text="Fecha",
row=1,
col=2
)
fig.update_yaxes(
showline=True,
linewidth=1,
linecolor='black',
gridcolor='lightgray',
title_text="Cantidad de registros",
row=1,
col=1
)
fig.show()
def PlotTimeSeriesWithLimit(data, date_col):
# Asegurarse de que la columna sea de tipo datetime
if not pd.api.types.is_datetime64_any_dtype(data[date_col]):
data[date_col] = pd.to_datetime(data[date_col], errors='coerce')
# Crear una copia del DataFrame
data_plot = data.copy()
# Filtrar si es FEC_HOS o FEC_DEF para que no supere 2023-12-31
if date_col in ['FEC_HOS', 'FEC_DEF']:
data_plot = data_plot[data_plot[date_col] <= pd.Timestamp('2023-12-31')]
# Agrupar por fecha (nivel de día) y contar la cantidad de registros
df_ts = (
data_plot.groupby(data_plot[date_col].dt.date)
.size()
.reset_index(name='count')
.sort_values(by=date_col)
)
# Crear gráfico de línea con Plotly Express
fig = px.line(
df_ts,
x=date_col,
y='count',
title=f"Evolución de {date_col}",
markers=True
)
# Personalizar el color de la línea
fig.update_traces(line_color="#3F007D")
# Ajustar diseño y estilo
fig.update_layout(
plot_bgcolor='white',
paper_bgcolor='white',
font=dict(
family="Georgia",
size=14,
color="black"
),
title_font=dict(
family="Georgia",
size=24,
color="black"
),
xaxis_title="Fecha",
yaxis_title="Cantidad de Registros"
)
fig.show()
def PlotBoxAndHistogram(data, variable):
import plotly.graph_objects as go
import plotly.subplots as sp
# Filtrar datos si la variable es 'sem_ges'
if variable == 'sem_ges':
data_plot = data[data[variable] != 0]
else:
data_plot = data.copy()
# Crear subplots: 1 fila, 2 columnas
fig = sp.make_subplots(
rows=1, cols=2,
subplot_titles=(f"Boxplot de {variable}", f"Histograma de {variable}")
)
# Boxplot en la primera columna
fig.add_trace(
go.Box(
y=data_plot[variable],
boxmean=True,
marker_color=PurplePalette[6],
name=f"Boxplot de {variable}"
),
row=1, col=1
)
# Histograma en la segunda columna
fig.add_trace(
go.Histogram(
x=data_plot[variable],
nbinsx=30,
marker_color=PurplePalette[3],
marker_line_color='black', # Líneas de separación
marker_line_width=1, # Grosor de las líneas
name=f"Histograma de {variable}",
texttemplate='%{y}',
textposition='outside'
),
row=1, col=2
)
# Personalización del diseño general
fig.update_layout(
title_text=f"Distribución de {variable}",
title_font_size=24,
plot_bgcolor='white',
paper_bgcolor='white',
font=dict(
family="Georgia",
size=14,
color="black"
),
showlegend=False
)
# Etiquetas de ejes
# - Columna 1 (boxplot)
fig.update_xaxes(title_text='Observaciones', row=1, col=1)
fig.update_yaxes(title_text=variable, row=1, col=1)
# - Columna 2 (histograma)
fig.update_xaxes(title_text=variable, row=1, col=2)
fig.update_yaxes(title_text='Frecuencia', row=1, col=2)
# Ajustar ángulo de las etiquetas en el histograma
fig.update_xaxes(tickangle=45, row=1, col=2)
fig.show()
Importación de Datos#
Para este estudio se descargaron de forma individual los datasets correspondientes a cada año entre 2018 y 2023, provenientes del Sistema Nacional de Vigilancia en Salud Pública (Sivigila). Posteriormente, se unieron estos archivos en un único dataset consolidado que originalmente contaba con 75 variables.
Una vez integrado el dataset, se aplicaron dos filtros fundamentales: primero, se restringió la base de datos a los casos reportados exclusivamente para mujeres, y segundo, se normalizó la variable EDAD utilizando la unidad de medida indicada en UNI_MED para convertirla a años. Con este proceso se actualizaron los registros de edad en el mismo campo, y se eliminaron aquellos casos donde la edad superaba los 80 años. El resultado final fue un conjunto de datos depurado que cuenta con 584,450 registros, el cual servirá como base para el análisis exploratorio y la construcción de modelos predictivos.
Data = pd.read_csv("/content/drive/MyDrive/data.csv")
display(Data.head())
<ipython-input-9-0da35a8f5dd6>:1: DtypeWarning:
Columns (10,37,52,53,56,58,69) have mixed types. Specify dtype option on import or set low_memory=False.
| Partición | CONSECUTIVE | COD_EVE | FEC_NOT | SEMANA | ANO | COD_PRE | COD_SUB | EDAD | UNI_MED | ... | Pais_ocurrencia | Nombre_evento | Departamento_ocurrencia | Municipio_ocurrencia | Pais_residencia | Departamento_residencia | Municipio_residencia | Departamento_Notificacion | Municipio_notificacion | COD_EVE.1 | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | NaN | 8913028 | 875 | 2022-09-13 | 37 | 2022 | 875800714 | 1 | 15.0 | 1 | ... | COLOMBIA | VCM VIF VSX | ATLANTICO | SOLEDAD | COLOMBIA | ATLANTICO | SOLEDAD | ATLANTICO | SOLEDAD | NaN |
| 1 | NaN | 8917556 | 875 | 2022-03-05 | 9 | 2022 | 1100106453 | 1 | 28.0 | 1 | ... | COLOMBIA | VCM VIF VSX | BOGOTA | BOGOTA | COLOMBIA | BOGOTA | BOGOTA | BOGOTA | BOGOTA | NaN |
| 2 | NaN | 8917557 | 875 | 2022-02-07 | 6 | 2022 | 6808100797 | 1 | 31.0 | 1 | ... | COLOMBIA | VCM VIF VSX | SANTANDER | BARRANCABERMEJA | COLOMBIA | SANTANDER | BARRANCABERMEJA | SANTANDER | BARRANCABERMEJA | NaN |
| 3 | NaN | 8917558 | 875 | 2022-11-25 | 47 | 2022 | 2575400078 | 3 | 32.0 | 1 | ... | COLOMBIA | VCM VIF VSX | CUNDINAMARCA | SOACHA | COLOMBIA | CUNDINAMARCA | SOACHA | CUNDINAMARCA | SOACHA | NaN |
| 4 | NaN | 8913029 | 875 | 2022-05-27 | 21 | 2022 | 1100130289 | 2 | 14.0 | 1 | ... | COLOMBIA | VCM VIF VSX | BOGOTA | BOGOTA | COLOMBIA | BOGOTA | BOGOTA | BOGOTA | BOGOTA | NaN |
5 rows × 75 columns
import pandas as pd
# Convertir la columna FEC_NOT a datetime
Data['FEC_NOT'] = pd.to_datetime(Data['FEC_NOT'], format='%Y-%m-%d', errors='coerce')
# Filtrar para conservar solo registros con fecha de notificación a partir del 1 de enero de 2018
# y que en la columna ANO sean mayores o iguales a 2018
Data = Data[(Data['FEC_NOT'] >= pd.Timestamp('2018-01-01')) & (Data['ANO'] >= 2018)]
# Verificar los resultados
print("Fecha mínima después del filtrado:", Data['FEC_NOT'].min())
print("Número de registros después del filtrado:", len(Data))
Fecha mínima después del filtrado: 2018-01-01 00:00:00
Número de registros después del filtrado: 584450
print(f"Cantidad de registros: {Data.shape[0]}, Cantidad de variables: {Data.shape[1]}")
Cantidad de registros: 584450, Cantidad de variables: 75
Análisis y limpieza preliminar#
Eliminación inicial de variables no relevantes#
Tras la consolidación de los archivos, se realizó una selección inicial de columnas que no aportaban información relevante para el análisis. Se descartaron variables relacionadas con datos internos del registro de Sivigila, tales como la fecha de ajuste y el número de registro, los cuales no resultaban útiles para el análisis de reincidencia. Asimismo, se eliminaron columnas con información redundante o constante, como el código del evento (registrado siempre como 875, dado que todos los casos corresponden a violencia basada en género) y campos duplicados, tales como los códigos y nombres de lugares (país, departamento y municipio) de residencia, notificación y ocurrencia.
Adicionalmente, y en concordancia con la restricción de la base de datos únicamente a casos de mujeres, se eliminó la variable “SEXO”. Con la asesoría de expertos en el tema, se identificaron y retiraron otras variables consideradas menos pertinentes, garantizando así un conjunto de datos más limpio y focalizado para el análisis posterior. Como resultado, la base de datos final quedó con 584,450 registros y 42 variables, optimizando su estructura para análisis posteriores.
DeleteColumns = [
'Partición', 'COD_EVE', 'COD_PRE', 'COD_SUB', 'nombre_nacionalidad', 'AREA', 'COD_ASE', 'nom_grupo', 'AJUSTE',
'FEC_ARC_XL', 'FEC_AJU', 'FM_FUERZA', 'FM_UNIDAD', 'FM_GRADO', 'confirmados', 'va_sispro', 'consecutive_origen',
'COD_EVE.1', 'CONSECUTIVE', 'Nom_upgd', 'Pais_ocurrencia', 'Departamento_ocurrencia','Municipio_ocurrencia',
'Pais_residencia','Municipio_residencia', 'Departamento_Notificacion','Municipio_notificacion', 'FECHA_NTO',
'Nombre_evento', 'CER_DEF', 'OCUPACION', 'nom_est_f_caso', 'SEXO', 'nacionalidad', 'fuente'
]
Data = Data.drop(columns=DeleteColumns, errors='ignore')
print(f"Cantidad de registros: {Data.shape[0]}, Cantidad de variables: {Data.shape[1]}")
Cantidad de registros: 584450, Cantidad de variables: 40
Asignación inicial del tipo de variable#
Después de consolidar y limpiar preliminarmente la base de datos, se realizó una asignación inicial del tipo de variable acorde a su naturaleza, estableciendo una base sólida para análisis posteriores. Así, se transformaron a cadenas de texto variables que representan información categórica, tales como UNI_MED, nacionalidad, SEXO y los códigos correspondientes a la ubicación de ocurrencia, notificación o residencia (COD_PAIS, COD_DPTO y COD_MUN), entre otros. De igual forma, se procedió a convertir las variables temporales (FEC_NOT, FEC_CON, INI_SIN, FEC_HOS y FEC_DEF) al formato de fecha, lo que permitió organizar cronológicamente la información. Finalmente, se transformaron a valores numéricos, en formato entero, aquellas variables cuantitativas relevantes como SEMANA, ANO, EDAD y sem_ges. Esta asignación preliminar, que puede ajustarse según los requerimientos específicos en fases posteriores del estudio, garantiza la consistencia y calidad de los datos para el análisis.
# Conversión a cadenas (string)
Data['UNI_MED'] = Data['UNI_MED'].astype(str)
Data['COD_PAIS_O'] = Data['COD_PAIS_O'].astype(str)
Data['COD_DPTO_O'] = Data['COD_DPTO_O'].astype(str)
Data['COD_MUN_O'] = Data['COD_MUN_O'].astype(str)
Data['TIP_SS'] = Data['TIP_SS'].astype(str)
Data['PER_ETN'] = Data['PER_ETN'].astype(str)
Data['GRU_POB'] = Data['GRU_POB'].astype(str)
Data['GP_DISCAPA'] = Data['GP_DISCAPA'].astype(str)
Data['GP_DESPLAZ'] = Data['GP_DESPLAZ'].astype(str)
Data['GP_MIGRANT'] = Data['GP_MIGRANT'].astype(str)
Data['GP_CARCELA'] = Data['GP_CARCELA'].astype(str)
Data['GP_GESTAN'] = Data['GP_GESTAN'].astype(str)
Data['GP_INDIGEN'] = Data['GP_INDIGEN'].astype(str)
Data['GP_POBICFB'] = Data['GP_POBICFB'].astype(str)
Data['GP_MAD_COM'] = Data['GP_MAD_COM'].astype(str)
Data['GP_DESMOVI'] = Data['GP_DESMOVI'].astype(str)
Data['GP_PSIQUIA'] = Data['GP_PSIQUIA'].astype(str)
Data['GP_VIC_VIO'] = Data['GP_VIC_VIO'].astype(str)
Data['GP_OTROS'] = Data['GP_OTROS'].astype(str)
Data['COD_PAIS_R'] = Data['COD_PAIS_R'].astype(str)
Data['COD_DPTO_R'] = Data['COD_DPTO_R'].astype(str)
Data['COD_MUN_R'] = Data['COD_MUN_R'].astype(str)
Data['COD_DPTO_N'] = Data['COD_DPTO_N'].astype(str)
Data['COD_MUN_N'] = Data['COD_MUN_N'].astype(str)
Data['TIP_CAS'] = Data['TIP_CAS'].astype(str)
Data['PAC_HOS'] = Data['PAC_HOS'].astype(str)
Data['CON_FIN'] = Data['CON_FIN'].astype(str)
Data['CBMTE'] = Data['CBMTE'].astype(str)
Data['Estado_final_de_caso'] = Data['Estado_final_de_caso'].astype(str)
# Conversión a fechas
Data['FEC_NOT'] = pd.to_datetime(Data['FEC_NOT'], format='%Y-%m-%d', errors='coerce')
Data['FEC_CON'] = pd.to_datetime(Data['FEC_CON'], format='%Y-%m-%d', errors='coerce')
Data['INI_SIN'] = pd.to_datetime(Data['INI_SIN'], format='%Y-%m-%d', errors='coerce')
Data['FEC_HOS'] = pd.to_datetime(Data['FEC_HOS'], format='%Y-%m-%d', errors='coerce')
Data['FEC_DEF'] = pd.to_datetime(Data['FEC_DEF'], format='%Y-%m-%d', errors='coerce')
# Conversión a numéricos (enteros)
Data['SEMANA'] = pd.to_numeric(Data['SEMANA'], errors='coerce').astype('Int64')
Data['ANO'] = pd.to_numeric(Data['ANO'], errors='coerce').astype('Int64')
Data['EDAD'] = pd.to_numeric(Data['EDAD'], errors='coerce').astype('float')
Data['sem_ges'] = pd.to_numeric(Data['sem_ges'], errors='coerce').astype('Int64')
Análisis preliminar de variables numéricas y temporales#
display(Data.describe())
| FEC_NOT | SEMANA | ANO | EDAD | sem_ges | FEC_CON | INI_SIN | FEC_HOS | FEC_DEF | |
|---|---|---|---|---|---|---|---|---|---|
| count | 584450 | 584450.0 | 584450.0 | 584450.000000 | 30805.0 | 584446 | 550790 | 94622 | 449 |
| mean | 2021-03-25 02:06:55.824792832 | 27.247814 | 2020.704189 | 24.165971 | 19.475702 | 2021-03-21 21:25:44.514977024 | 2021-04-03 00:44:51.499845888 | 2021-06-01 18:43:31.029147392 | 2020-12-08 10:57:27.661470720 |
| min | 2018-01-01 00:00:00 | 1.0 | 2018.0 | 0.000002 | 1.0 | 2008-07-03 00:00:00 | 2001-01-01 00:00:00 | 2017-12-31 00:00:00 | 2018-01-01 00:00:00 |
| 25% | 2019-08-28 00:00:00 | 14.0 | 2019.0 | 13.000000 | 10.0 | 2019-08-25 00:00:00 | 2019-09-25 00:00:00 | 2019-11-22 00:00:00 | 2019-04-13 00:00:00 |
| 50% | 2021-05-26 00:00:00 | 28.0 | 2021.0 | 22.000000 | 18.0 | 2021-05-23 00:00:00 | 2021-06-25 00:00:00 | 2021-09-12 00:00:00 | 2021-01-29 00:00:00 |
| 75% | 2022-10-20 00:00:00 | 40.0 | 2022.0 | 33.000000 | 28.0 | 2022-10-18 00:00:00 | 2022-11-02 00:00:00 | 2022-12-11 00:00:00 | 2022-06-25 00:00:00 |
| max | 2023-12-31 00:00:00 | 53.0 | 2023.0 | 80.000000 | 45.0 | 2023-12-30 00:00:00 | 2023-12-30 00:00:00 | 2023-12-30 00:00:00 | 2023-12-26 00:00:00 |
| std | NaN | 14.831161 | 1.747905 | 15.733137 | 10.881358 | NaN | NaN | NaN | NaN |
La descripción estadística de las variables numéricas ofrece una visión global de la distribución y el rango de valores en el conjunto de datos. A continuación, se presentan algunos puntos destacados:
Fechas de Notificación (FEC_NOT):
El conteo (count) de 586.153 indica que la gran mayoría de los registros cuentan con una fecha de notificación válida.
La fecha mínima es 2018-01-01 y la máxima es 2023-12-31, lo que confirma que el filtrado temporal se aplicó correctamente.
Semana Epidemiológica (SEMANA) y Año (AÑO):
La
SEMANAtiene un valor medio cercano a 27, lo cual sugiere que la mayoría de los casos se concentran hacia la mitad del año epidemiológico.El
AÑOpresenta un promedio de 2020.8, consistente con un rango que va de 2018 a 2023, tal como se definió en el filtrado.
Edad (EDAD):
Con una media de alrededor de 24.3 años y una mediana cercana a 20, se observa que la población atendida es predominantemente joven.
El mínimo es 0 y el máximo 80, confirmando la restricción de eliminar casos con edades superiores a 80 años.
Gestación (sem_pes):
Está presente en 380.661 registros, lo que indica que no todas las víctimas reportaron este dato (o no aplicaba).
El promedio se sitúa en torno a 12.2 semanas, con un rango de 1 a 45, abarcando desde inicios del embarazo hasta prácticamente el término.
Fechas de Consulta (FEC_CON), Inicio de Síntomas (INI_SIN), Hospitalización (FEC_HOS) y Defunción (FEC_DEF):
No todos los casos cuentan con estas variables, de ahí que el count sea menor en comparación con
FEC_NOT.El número de hospitalizaciones
FEC_HOSregistradas es de 9.444, mientras que solo 449 casos tienen fecha de defunciónFEC_DEF, lo que refleja que son desenlaces menos frecuentes.El rango de fechas en cada una se mantiene dentro del período 2018–2023, y la media se ubica alrededor de mediados de 2021, lo cual coincide con la distribución general de las notificaciones.
En conjunto, estas estadísticas confirman que el filtrado temporal y por edad se ha aplicado correctamente, y muestran que la mayoría de las víctimas son mujeres jóvenes, con un rango amplio en variables como la semana epidemiológica y la fecha de notificación. Además, la menor frecuencia de hospitalizaciones y defunciones subraya la importancia de explorar qué factores se asocian con desenlaces más graves dentro de esta población.
Análisis preliminar de variables categóricas#
Para explorar las variables categóricas en el conjunto de datos, se implementó una función que identifica columnas de tipo “object” o “category” y, para cada una, calcula estadísticas de interés como el número de valores únicos, el valor más frecuente, su frecuencia absoluta y la cantidad de valores faltantes. A continuación, se muestra la salida resultante de la ejecución de esta función.
DescribeCategoricas(Data)
| UNI_MED | COD_PAIS_O | COD_DPTO_O | COD_MUN_O | TIP_SS | PER_ETN | GRU_POB | estrato | GP_DISCAPA | GP_DESPLAZ | ... | COD_DPTO_R | COD_MUN_R | COD_DPTO_N | COD_MUN_N | TIP_CAS | PAC_HOS | CON_FIN | CBMTE | Estado_final_de_caso | Departamento_residencia | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Número de valores únicos | 5 | 48 | 35 | 595 | 6 | 6 | 1 | 7 | 2 | 2 | ... | 35 | 594 | 33 | 1112 | 1 | 2 | 2 | 183 | 1 | 35 |
| Valor más frecuente | 1 | 170 | 5 | 1 | S | 6 | nan | 1 | 2 | 2 | ... | 5 | 1 | 5 | 11001 | 1 | 2 | 1 | nan | 1 | ANTIOQUIA |
| Frecuencia del valor más frecuente | 571467 | 581679 | 102346 | 271478 | 306757 | 549699 | 584450 | 236218 | 581061 | 578565 | ... | 102474 | 273627 | 102899 | 82100 | 584450 | 489828 | 584001 | 584057 | 584450 | 102474 |
| Valores faltantes | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
4 rows × 31 columns
Se observa que varias variables categóricas presentan un alto grado de concentración en una o pocas categorías. Por ejemplo, TIP_CAS tiene un único valor, lo que indica que todos los registros corresponden a un mismo tipo de caso según la clasificación utilizada, en este caso: “sospechoso”. Otras variables, como PAC_HOS (hospitalización) y CON_FIN (condición final), muestran un valor dominante 2 (“no hospitalizado”) y 1 (“vivo”), respectivamente que abarca la mayoría de los registros, lo que sugiere que, en la práctica, el número de casos hospitalizados y de desenlaces fatales es menor en comparación con el total. Asimismo, variables como Departamento_residencia evidencian un número considerable de valores únicos, lo que denota la diversidad geográfica de la población estudiada, pero también presentan un volumen notable de datos faltantes (por ejemplo, 102807), factor que será importante manejar mediante estrategias de imputación o filtrado. Este panorama confirma la necesidad de un tratamiento cuidadoso de los datos categóricos para evitar sesgos y garantizar la robustez de los modelos que se implementarán posteriormente.
Análisis de Datos Faltantes#
En cualquier investigación basada en datos, la presencia de valores faltantes constituye un desafío significativo que puede afectar la calidad y la confiabilidad de los resultados. Según Rubin (1976) \cite{rubin1976inference}, los datos faltantes pueden deberse a múltiples causas, incluyendo errores de recolección, ausencia de registro o la no aplicabilidad de ciertas variables en casos específicos. En este estudio, resulta esencial identificar y gestionar adecuadamente estos valores, ya que su presencia podría sesgar los análisis posteriores y disminuir la eficacia de los modelos predictivos.
Como parte de este proceso, para las variables categóricas se consideraron como valores faltantes las cadenas vacías (''), espacios en blanco (' '), así como las representaciones de valores nulos ('NaN', 'NULL', 'nan', 'null'). El análisis de datos faltantes no solo ayuda a cuantificar su magnitud, sino también a evaluar posibles patrones en su distribución, lo cual es determinante para seleccionar la estrategia de imputación o eliminación más adecuada. A continuación, se presenta un examen detallado de los valores faltantes en el dataset, destacando las variables con mayor impacto y proponiendo soluciones para minimizar su efecto en el análisis y la construcción de modelos.
# Columnas categóricas
CategoricalColumns = Data.select_dtypes(include=['object', 'category']).columns
# Valores faltantes en columnas categóricas
MissingCategorical = Data[CategoricalColumns].isnull().sum()
# Cadenas vacías y otros valores a NA
Data[CategoricalColumns] = Data[CategoricalColumns].replace(['', ' ', 'NaN', 'NULL', 'nan', 'null'], pd.NA)
# Verificar nuevamente los valores faltantes
MissingCategoricalUpdated = Data[CategoricalColumns].isnull().sum()
print(MissingCategoricalUpdated[MissingCategoricalUpdated > 0])
GRU_POB 584450
COD_PAIS_R 180028
CBMTE 584057
dtype: int64
PlotMissingValues(Data)
En la gráfica se observa que varias variables presentan un alto porcentaje de valores faltantes, con algunas superando incluso el 90%. Esto sugiere que, o bien no resultan aplicables para la mayoría de los casos (como podría ser el caso de una fecha de defunción cuando la víctima sobrevive), o bien existe un subregistro importante en la captura de dicha información. Por ejemplo, variables como GRU_POB y CBMTE muestran prácticamente el 100% de datos faltantes, lo que podría indicar que se trata de campos muy específicos o que su registro no es obligatorio en la notificación.
En contraste, otras variables como FEC_CON tienen un porcentaje nulo o muy bajo de datos faltantes, lo que indica una mayor consistencia en el registro de estos campos. Esta disparidad refuerza la necesidad de un tratamiento diferenciado de los valores faltantes según su naturaleza: algunas variables podrían requerir imputación selectiva (si la ausencia de datos sigue un patrón predecible), mientras que en otros casos podría ser necesario descartar la variable o transformarla en un indicador binario (por ejemplo, “información disponible” vs. “no disponible”), dependiendo de la relevancia para el análisis o el modelado. En las secciones siguientes, se abordará cada variable con alto porcentaje de valores faltantes para decidir el mejor enfoque de tratamiento.
Tratamiento de datos faltantes según su naturaleza#
Análisis del Grupo Poblacional (GRU_POB)#
En el análisis de la variable GRU_POB (grupo poblacional), se identificó que los valores únicos no estaban relacionados con la naturaleza de la variable, ya que consistían en números sin un significado claro o consistente. Sin embargo, se observó que existían 12 variables relacionadas, como GP_DISCAPA (discapacitado), GP_DESPLAZ (desplazado), GP_MIGRANT (migrante), entre otras, las cuales contenían valores de 1 (Sí pertenece) y 2 (No pertenece). Estas variables permiten categorizar a las víctimas en grupos poblacionales específicos, lo que resulta relevante para entender las dinámicas de la violencia de género en contextos particulares. Dado que GRU_POB no proporcionaba información útil, se decidió utilizar estas variables relacionadas para clasificar a las víctimas en grupos poblacionales, sin depender de la variable original. Este enfoque permitió mantener la información relevante y mejorar la calidad del análisis.
ResumenVariable(Data, 'GRU_POB')
Valores únicos en GRU_POB: [<NA>]
Valores faltantes en GRU_POB: 584450
# Valores faltantes en columnas relacionadas
RelatedColumns = ['GP_DISCAPA', 'GP_DESPLAZ', 'GP_MIGRANT', 'GP_CARCELA',
'GP_GESTAN', 'GP_INDIGEN', 'GP_POBICFB', 'GP_MAD_COM',
'GP_DESMOVI', 'GP_PSIQUIA', 'GP_VIC_VIO', 'GP_OTROS']
display(Data[RelatedColumns].isnull().sum())
print ("\nLas variables relacionadas no contienen valores faltantes.")
| 0 | |
|---|---|
| GP_DISCAPA | 0 |
| GP_DESPLAZ | 0 |
| GP_MIGRANT | 0 |
| GP_CARCELA | 0 |
| GP_GESTAN | 0 |
| GP_INDIGEN | 0 |
| GP_POBICFB | 0 |
| GP_MAD_COM | 0 |
| GP_DESMOVI | 0 |
| GP_PSIQUIA | 0 |
| GP_VIC_VIO | 0 |
| GP_OTROS | 0 |
Las variables relacionadas no contienen valores faltantes.
# Eliminación la columna GRU_POB
Data = Data.drop(columns=['GRU_POB'])
# Verificar que la columna ha sido eliminada
print(f"Cantidad de registros: {Data.shape[0]}, Cantidad de variables: {Data.shape[1]}")
Cantidad de registros: 584450, Cantidad de variables: 39
Imposibilidad de unificar el grupo poblacional
Dentro del análisis de estas variables relacionadas con el grupo poblacional, se consideró la posibilidad de unificar en una sola columna el grupo poblacional al que pertenecía la víctima, con el objetivo de reducir la dimensionalidad de la base de datos. Sin embargo, esta propuesta no fue viable debido a que una víctima podía pertenecer a dos o más grupos poblacionales simultáneamente (por ejemplo, ser desplazada y migrante al mismo tiempo). Por lo tanto, se decidió mantener las variables separadas para preservar la precisión y la integridad de la información, evitando la pérdida de datos relevantes sobre la pertenencia de las víctimas a múltiples grupos poblacionales.
Análisis de la causa básica de muerte (CBMTE) y fecha de defunción (FEC_DEF)#
El análisis de los valores faltantes en las variables CBMTE (causa básica de muerte) y FEC_DEF (fecha de defunción) revela que ambas presentan un porcentaje extremadamente alto de datos ausentes, cercano al 99.9%. Este fenómeno no es sorprendente, ya que estas variables solo son aplicables a los casos en los que la víctima falleció, lo cual representa una proporción mínima dentro del conjunto de datos. En este contexto, los valores faltantes no son el resultado de errores en la recolección, sino que reflejan la naturaleza de la variable: la mayoría de los casos no terminan en muerte, por lo que estos campos no son relevantes para la mayoría de los registros. Para confirmar la anterior hipótesis análicemos más a detalle esta variable.
Inicialmente, se realizó una comparación de los datos faltantes en estas variables con la categoría de CON_FIN (condición final), que indicaba el estado final de la víctima: 1 si la mujer estaba viva, 2 si había fallecido y 0 si no se sabía o no se respondía. Esta comparación confirmó que los valores faltantes en CBMTE y FEC_DEF coincidían casi en su totalidad con los casos en los que CON_FIN era igual a 1 (viva). Esto reforzó la idea de que los valores faltantes en estas variables no eran aleatorios, sino que estaban directamente relacionados con la naturaleza del evento (es decir, solo aplicaban a los casos de fallecimiento).
TablaNARelacionados(Data, 'CON_FIN', 'CBMTE')
TablaNARelacionados(Data, 'CON_FIN', 'FEC_DEF')
| CON_FIN | Valores Faltantes en CBMTE | |
|---|---|---|
| 0 | 1 | 584001 |
| 1 | 2 | 56 |
| CON_FIN | Valores Faltantes en FEC_DEF | |
|---|---|---|
| 0 | 1 | 584001 |
| 1 | 2 | 0 |
Luego, se verificó que los valores únicos en la condición final de la víctima (CON_FIN) eran consistentes (0, 1 y 2) y que no había valores faltantes en esta variable. Dado que eliminar los registros con valores faltantes o aplicar métodos tradicionales de imputación en estas variables no era apropiado en este contexto, se optó por imputar valores que indicaran que la víctima estaba viva. Para esto, en la variable CBMTE, que sigue la clasificación CIE-10, se imputó el código “0000”, el cual no corresponde a ninguna causa de muerte dentro de este sistema. Además, se verificó que este valor no aparecía previamente en la columna. Para la variable FEC_DEF, correspondiente a la fecha de defunción, se imputó la fecha “2099-12-31” (31 de diciembre de 2099), una fecha no válida en el contexto actual del estudio, y se validó previamente que no estuviera presente en esta columna. Este enfoque permitió mantener la integridad de los datos y asegurar que los registros imputados no se confundieran con casos reales de fallecimiento.
# Convertir CON_FIN a numérico (y manejar errores con 'coerce')
Data['CON_FIN'] = pd.to_numeric(Data['CON_FIN'], errors='coerce')
ResumenVariable(Data, 'CON_FIN')
Valores únicos en CON_FIN: [1 2]
Valores faltantes en CON_FIN: 0
# Imputar "0000" en CBMTE para pacientes vivos
Data.loc[Data['CON_FIN'] == 1, 'CBMTE'] = Data.loc[Data['CON_FIN'] == 1, 'CBMTE'].fillna("0000")
# Imputar "2090-12-31" en FEC_DEF para pacientes vivos
FechaDefVivos = pd.to_datetime('2090-12-31')
Data.loc[Data['CON_FIN'] == 1, 'FEC_DEF'] = Data.loc[Data['CON_FIN'] == 1, 'FEC_DEF'].fillna(FechaDefVivos)
# Valores faltantes en CBMTE según CON_FIN después de la imputación
TablaNARelacionados(Data, 'CON_FIN', 'CBMTE')
# Valores faltantes en CBMTE según FEC_DEF después de la imputación
TablaNARelacionados(Data, 'CON_FIN', 'FEC_DEF')
| CON_FIN | Valores Faltantes en CBMTE | |
|---|---|---|
| 0 | 1 | 0 |
| 1 | 2 | 56 |
| CON_FIN | Valores Faltantes en FEC_DEF | |
|---|---|---|
| 0 | 1 | 0 |
| 1 | 2 | 0 |
Finalmente, tras la imputación, se verificó que los datos faltantes restantes en CBMTE y FEC_DEF correspondían únicamente a casos en los que la víctima había fallecido o en los que se desconocía si había fallecido, lo que confirmó que la imputación se realizó correctamente. Sin embargo, se observó que aún existían registros de personas fallecidas que no estaban reportados en estas variables, lo que sugiere posibles inconsistencias en la recolección de datos. Cabe destacar que, tras la imputación, las variables CBMTE y FEC_DEF, que inicialmente presentaban alrededor de un 99% de datos faltantes, redujeron este porcentaje a 0.01% y 0% respectivamente, lo que indica un manejo efectivo de los valores faltantes y una mejora significativa en la calidad del dataset.
PlotMissingValues(Data)
Análisis de las semanas de gestación (sem_ges)#
La variable sem_ges, que indica el semestre de gestación de las víctimas, presentó un alto porcentaje de valores faltantes, lo cual es esperable dado que no todas las víctimas de violencia de género están en embarazo. Este tipo de valores faltantes, conocidos como faltantes estructurales, no son el resultado de errores en la recolección, sino que reflejan la naturaleza de la variable: solo es aplicable a un subconjunto específico de los datos. A continuación, se detalla el análisis y el tratamiento realizado para manejar estos valores faltantes de manera adecuada, asegurando que no se pierda información relevante y que se mantenga la integridad del dataset.
Al igual que en el caso de la causa básica de muerte y la fecha de defunción, para la variable de semanas de gestación (sem_ges) se contó con la variable GP_GESTAN, la cual indica si la víctima estaba en estado de embarazo o no (1: gestante, 2: no gestante). Inicialmente, se realizó una comparación de los datos faltantes en sem_ges por las categorías de GP_GESTAN, lo que mostró que 553,111 de estos valores faltantes correspondían a casos en los que la víctima no estaba embarazada. Este análisis confirmó que la mayoría de los valores faltantes en sem_ges eran estructurales, es decir, no aplicables a las víctimas que no se encontraban en estado de gestación. Este hallazgo permitió abordar el tratamiento de los valores faltantes de manera más precisa, asegurando que no se perdiera información relevante y que se mantuviera la coherencia en el análisis de los datos.
TablaNARelacionados(Data, 'GP_GESTAN', 'sem_ges')
| GP_GESTAN | Valores Faltantes en sem_ges | |
|---|---|---|
| 0 | 1 | 1912 |
| 1 | 2 | 551733 |
Debido a esto, se tomó la decisión de imputar el valor 0 en la cantidad de semanas de gestación (sem_ges) para las víctimas no gestantes, indicando que no estaban embarazadas. Posteriormente, se realizó nuevamente la comparación de datos faltantes por categoría en GP_GESTAN, lo que confirmó el éxito de la imputación, ya que los valores faltantes restantes correspondían únicamente a casos en los que la víctima estaba embarazada o en los que no se había registrado su estado de gestación. Adicionalmente, se generó nuevamente el gráfico de valores faltantes, donde se observó una reducción significativa en el porcentaje de valores faltantes en sem_ges, pasando de 94.74% a 0.33%. Este resultado refleja un manejo efectivo de los valores faltantes estructurales y una mejora notable en la calidad y utilidad del dataset para análisis posteriores.
# Imputar 0 en sem_ges para no gestantes (GP_GESTAN == '2')
Data.loc[Data['GP_GESTAN'] == '2', 'sem_ges'] = Data.loc[Data['GP_GESTAN'] == '2', 'sem_ges'].fillna(0)
TablaNARelacionados(Data, 'GP_GESTAN', 'sem_ges')
| GP_GESTAN | Valores Faltantes en sem_ges | |
|---|---|---|
| 0 | 1 | 1912 |
| 1 | 2 | 0 |
PlotMissingValues(Data)
Análisis de la Fecha de hospitalización (FEC_HOS)#
La variable FEC_HOS, que registra la fecha de hospitalización de las víctimas, presentó un alto porcentaje de valores faltantes, lo cual es esperable dado que no todas las víctimas de violencia de género requieren hospitalización. Al igual que en casos anteriores, se hizo uso de una variable adicional para confirmar si los valores faltantes en FEC_HOS eran de naturaleza estructural. En este caso, se utilizó la variable PAC_HOS, la cual indica si un paciente fue hospitalizado (1) o no (2). Esta variable permitió verificar que los valores faltantes en FEC_HOS correspondían principalmente a casos en los que la víctima no requirió hospitalización, confirmando así que se trataba de faltantes estructurales. Este análisis fue fundamental para determinar el tratamiento adecuado de los valores faltantes en esta variable, asegurando que no se perdiera información relevante y que se mantuviera la coherencia en el análisis de los datos.
TablaNARelacionados(Data, 'PAC_HOS', 'FEC_HOS')
| PAC_HOS | Valores Faltantes en FEC_HOS | |
|---|---|---|
| 0 | 1 | 0 |
| 1 | 2 | 489828 |
En este caso, al igual que con FEC_DEF (fecha de defunción), se decidió imputar una fecha lejana y no coherente dentro del contexto del estudio, previamente verificada para asegurar que no estuviera presente en la columna, para aquellos casos en los que la víctima no fue hospitalizada. Esta fecha se utilizó como un marcador que indica la ausencia de hospitalización, manteniendo la integridad de los datos sin afectar los registros válidos. Posteriormente, se confirmó la efectividad de esta imputación al observar los datos faltantes en FEC_HOS según la variable PAC_HOS. Este hallazgo resalta la importancia de mejorar los procesos de registro para garantizar la completitud de la información en futuras actualizaciones del dataset.
# Imputar "2099-12-31" en FEC_HOS para no hospitalizados (PAC_HOS == '2')
FechaNoHospitalizado= pd.to_datetime('2099-12-31')
Data.loc[Data['PAC_HOS'] == '2', 'FEC_HOS'] = Data.loc[Data['PAC_HOS'] == '2', 'FEC_HOS'].fillna(FechaNoHospitalizado)
TablaNARelacionados(Data, 'PAC_HOS', 'FEC_HOS')
| PAC_HOS | Valores Faltantes en FEC_HOS | |
|---|---|---|
| 0 | 1 | 0 |
| 1 | 2 | 0 |
PlotMissingValues(Data)
Análisis del Código de país de residencia (COD_PAIS_R)#
En el análisis de la variable COD_PAIS_R (código de país de residencia), se identificó que existía una alta proporción de valores faltantes. Sin embargo, se notó que la variable Departamento_residencia, la cual proporcionaba información sobre el departamento de residencia de las víctimas proporciona información relavante que permitía evitar la eliminación de esta variable. Para abordar este problema, se realizó una verificación de los datos únicos en Departamento_residencia, identificando cuántos de estos correspondían a Colombia.
# Valores únicos en Departamento_residencia
ResumenVariable(Data, 'Departamento_residencia')
# Lista de departamentos válidos de Colombia
DepartamentosColombia = [
'VALLE', 'NARIÑO', 'BOGOTA', 'SANTANDER', 'ANTIOQUIA', 'BOLIVAR', 'HUILA',
'CAQUETA', 'BOYACA', 'CAUCA', 'META', 'GUAJIRA', 'CESAR', 'CUNDINAMARCA',
'TOLIMA', 'ATLANTICO', 'CALDAS', 'QUINDIO', 'GUAVIARE', 'SUCRE', 'MAGDALENA',
'PUTUMAYO', 'RISARALDA', 'CORDOBA', 'VICHADA', 'NORTE SANTANDER', 'CASANARE',
'ARAUCA', 'AMAZONAS', 'GUAINIA', 'CHOCO', 'SAN ANDRES', 'VAUPES'
]
Valores únicos en Departamento_residencia: ['ATLANTICO' 'BOGOTA' 'SANTANDER' 'CUNDINAMARCA' 'CAUCA' 'NARIÑO'
'BOLIVAR' 'VALLE' 'ANTIOQUIA' 'CALDAS' 'TOLIMA' 'GUAINIA' 'RISARALDA'
'CHOCO' 'NORTE SANTANDER' 'CORDOBA' 'HUILA' 'QUINDIO' 'SAN ANDRES' 'META'
'MAGDALENA' 'CESAR' 'BOYACA' 'CASANARE' 'SUCRE' 'PUTUMAYO' 'CAQUETA'
'ARAUCA' 'EXTERIOR' 'GUAJIRA' 'VICHADA' 'GUAVIARE' 'VAUPES' 'AMAZONAS'
'PROCEDENCIA DESCONOCIDA']
Valores faltantes en Departamento_residencia: 0
Una vez confirmado que la mayoría de los registros pertenecían a departamentos colombianos, se procedió a imputar el código “170” en COD_PAIS_R para todos los casos en los que el departamento de residencia se encontraba dentro de Colombia. Este código, que corresponde a Colombia según estándares internacionales, se utilizó para garantizar la coherencia y precisión en la clasificación de la residencia de las víctimas. Este enfoque permitió reducir significativamente los valores faltantes en COD_PAIS_R, mejorando la calidad y utilidad del dataset para análisis posteriores. Además, se verificó que los valores imputados no generaran inconsistencias o duplicaciones en los registros, asegurando la integridad de los datos.
CodigoColombia = "170.0"
Condicion = (Data['Departamento_residencia'].isin(DepartamentosColombia)) & (Data['COD_PAIS_R'].isna())
Data.loc[Condicion, 'COD_PAIS_R'] = CodigoColombia
Sin embargo, se evidenciaron dos valores únicos en Departamento_residencia: ‘EXTERIOR’ y ‘PROCEDENCIA DESCONOCIDA’, los cuales no permitieron imputar el código “170” (Colombia) en COD_PAIS_R. Esto se debió a que estos casos correspondían a víctimas cuya residencia estaba fuera de Colombia o no podía ser determinada, como en los casos de personas provenientes de países como Venezuela, Brasil, Estados Unidos, entre otros. Dado que no era posible asignar un código de país de residencia preciso para estos registros, se decidió dejarlos como valores faltantes, los cuales serán tratados en una etapa posterior del análisis. Este enfoque aseguró que no se introdujeran errores o inconsistencias en los datos, manteniendo la integridad del dataset mientras se busca una solución adecuada para estos casos específicos.
# Condición: Departamento_residencia no es un departamento de Colombia
NoEsColombia = ~Data['Departamento_residencia'].isin(DepartamentosColombia)
# Dejar COD_PAIS_R como está (no cambiarlo a NA) si ya tiene un valor válido
Data.loc[NoEsColombia & Data['COD_PAIS_R'].notna(), 'COD_PAIS_R'] = Data.loc[NoEsColombia & Data['COD_PAIS_R'].notna(), 'COD_PAIS_R']
# Si Departamento_residencia no es de Colombia y COD_PAIS_R es NA, dejarlo como NA
Data.loc[NoEsColombia & Data['COD_PAIS_R'].isna(), 'COD_PAIS_R'] = pd.NA
Note
Adicionalmente, aunque la variable Departamento_residencia fue útil para imputar COD_PAIS_R en la mayoría de los casos, se procedió con su eliminación del dataset. Esta decisión se tomó debido a que la información contenida en Departamento_residencia ya estaba codificada en la variable COD_DPTO_R, la cual representa el código del departamento de residencia. Desde el inicio del análisis, se estableció como práctica eliminar las variables que estaban duplicadas en formato de texto y código, con el fin de reducir la redundancia y optimizar la estructura de la base de datos. Esta eliminación no afectó la integridad de la información, ya que COD_DPTO_R conserva los datos necesarios para el análisis, manteniendo la coherencia y eficiencia en el manejo del dataset.
Data = Data.drop(columns=['Departamento_residencia'])
# Verificar que la columna ha sido eliminada
print(f"Cantidad de registros: {Data.shape[0]}, Cantidad de variables: {Data.shape[1]}")
Cantidad de registros: 584450, Cantidad de variables: 38
Tratamiento de datos faltantes según su porcentaje#
Una vez abordados los valores faltantes estructurales en variables como CBMTE, FEC_DEF, sem_ges, GRU_POB y FEC_HOS, el siguiente paso fue enfocarse en los valores faltantes restantes, los cuales no están relacionados con la naturaleza de las variables, sino que representan datos que realmente faltan en el dataset. Estos valores faltantes pueden deberse a errores en la recolección, omisiones en el registro o falta de información en los sistemas de reporte. Para manejar estos casos, se realizó un análisis detallado del porcentaje de valores faltantes por variable, con el fin de determinar las estrategias más adecuadas para su tratamiento, ya sea mediante imputación, eliminación o mantenimiento, según su impacto en el análisis. A continuación, se detalla el enfoque adoptado para cada categoría de valores faltantes, basado en su porcentaje y relevancia para el estudio.
PlotMissingValues(Data)
Análisis de las variables: sem_ges, CBMTE y FEC_CON#
En el análisis de datos, es común considerar la eliminación de filas con valores faltantes cuando estos representan menos del 1% del total de registros, ya que su impacto en el análisis es mínimo y no justifica la aplicación de técnicas de imputación más complejas [Little and Rubin, 2019, Rubin, 1976]. Este umbral del 1% se utiliza ampliamente en la práctica, ya que permite mantener la integridad del dataset sin afectar significativamente su tamaño o representatividad.
VarsToCheck = ['sem_ges', 'CBMTE', 'FEC_CON']
# Máscara para identificar filas con al menos un valor faltante en las variables indicadas
MissingMask = Data[VarsToCheck].isnull().any(axis=1)
# Número de registros y el porcentaje que representan
NumMissing = MissingMask.sum()
TotalRows = len(Data)
PercentageMissing = (NumMissing / TotalRows) * 100
print(f"Número de registros con faltantes en {VarsToCheck}: {NumMissing}")
print(f"Porcentaje de registros a eliminar: {PercentageMissing:.2f}%")
# DataFrame sin esas filas
Data = Data[~MissingMask]
print(f"Número de registros tras eliminación: {len(Data)}")
Número de registros con faltantes en ['sem_ges', 'CBMTE', 'FEC_CON']: 1971
Porcentaje de registros a eliminar: 0.34%
Número de registros tras eliminación: 582479
Al analizar las variables sem_pes, CBMTE y FEC_CON, se encontró que 1.971 registros presentaban valores faltantes, lo que equivale al 0.34% del total del conjunto de datos. Debido a que esta proporción era mínima y no comprometía la representatividad de la muestra, se decidió eliminar estos registros, quedando finalmente 582.479 observaciones en el dataset.
PlotMissingValues(Data)
Análisis del Código del País de Residencia (COD_PAIS_R)#
La variable COD_PAIS_R, que registra el código del país de residencia de las víctimas, presentaba un 0.23% de valores faltantes. A pesar de anteriormente haber tomado la decisión de eliminar los registros de aquellas variables con un porcentaje de valores faltantes menor a 1%, se tomó una decisión diferente en este caso particular con el fin de no eliminar los registros y perder la diversidad de esta variable. Anteriormente, se había abordado este problema imputando el código “170” (que corresponde a Colombia) en los casos donde el departamento de residencia (Departamento_residencia) indicaba un departamento colombiano. Sin embargo, los registros restantes con valores faltantes en COD_PAIS_R correspondían a casos donde la residencia estaba marcada como “Extranjero” o “Procedencia desconocida”, lo que hacía incorrecto imputar el código “170” o utilizar técnicas de imputación clásicas.
Para manejar estos casos de manera adecuada, se tomó la decisión de imputar el código “000” en COD_PAIS_R, indicando que el país de residencia de la víctima es desconocido. Este enfoque permitió mantener la integridad de los datos sin eliminar filas, evitando la pérdida de información valiosa. Además, se verificó que el código “000” no estuviera presente previamente en el dataset, asegurando que no generara confusiones o interpretaciones erróneas. Esta solución garantizó que los registros con residencia desconocida fueran identificados de manera clara y consistente, sin afectar el análisis posterior.
ResumenVariable(Data, 'COD_PAIS_R')
Valores únicos en COD_PAIS_R: ['170.0' '862.0' '140.0' '76.0' '212.0' '270.0' '840.0' '702.0' '604.0'
'152.0' '705.0' '591.0' '218.0' '174.0' '250.0' '124.0' '32.0' '178.0'
'470.0' '175.0' '826.0' '484.0' '706.0' '570.0' <NA> '500.0' '50.0'
'474.0' '760.0' '520.0' '662.0' '480.0' '234.0' '4.0' '660.0' '540.0'
'51.0' '634.0' '84.0' '724.0' '222.0' '188.0' '36.0' '533.0' '308.0'
'275.0' '86.0' '184.0' '417.0' '422.0' '180.0' '554.0' '768.0']
Valores faltantes en COD_PAIS_R: 1365
# Copia de los datos antes de la imputación
DataCopy = Data.copy()
# Reemplazar los valores faltantes con '000' en la columna 'COD_PAIS_R'
Data.loc[:, 'COD_PAIS_R'] = Data['COD_PAIS_R'].fillna('000')
# Mostrar el resumen de la variable sin generar warnings
print(ResumenVariable(Data, 'COD_PAIS_R'))
Valores únicos en COD_PAIS_R: ['170.0' '862.0' '140.0' '76.0' '212.0' '270.0' '840.0' '702.0' '604.0'
'152.0' '705.0' '591.0' '218.0' '174.0' '250.0' '124.0' '32.0' '178.0'
'470.0' '175.0' '826.0' '484.0' '706.0' '570.0' '000' '500.0' '50.0'
'474.0' '760.0' '520.0' '662.0' '480.0' '234.0' '4.0' '660.0' '540.0'
'51.0' '634.0' '84.0' '724.0' '222.0' '188.0' '36.0' '533.0' '308.0'
'275.0' '86.0' '184.0' '417.0' '422.0' '180.0' '554.0' '768.0']
Valores faltantes en COD_PAIS_R: 0
None
CompararDistribucionPaises(
DataAntes=DataCopy,
DataDespues=Data,
ColumnaCodPais='COD_PAIS_R',
CodigosAPaises=CodigosAPaises,
Top=10
)
La gráfica muestra cómo, tanto antes como después de la imputación, Colombia sigue siendo el país con mayor frecuencia reportada en la variable COD_PAIS_R, seguido por Venezuela y un grupo de otros países con recuentos considerablemente menores. La comparación entre ambos gráficos evidencia que la distribución de los países principales se mantiene, aunque los valores absolutos pueden variar ligeramente tras la imputación. Esto indica que, al reemplazar los datos faltantes, no se alteró de manera sustancial el patrón global de la variable, conservando la primacía de Colombia y la contribución más moderada de otras nacionalidades en el conjunto de datos.
PlotMissingValues(Data)
Análisis de la fecha de Inicio de Síntomas (INI_SIN)#
La variable INI_SIN, que registra la fecha de inicio de síntomas (en este caso, de violencia), presentaba un 5.67% de valores faltantes. Dado que esta variable está relacionada con eventos temporales clave, como la fecha de consulta (FEC_CON), la fecha de notificación (FEC_NOT), la fecha de hospitalización (FEC_HOS) y la fecha de defunción (FEC_DEF), es fundamental que la imputación respete la línea temporal de los eventos. Según la literatura, en contextos donde las variables están interrelacionadas temporalmente, es crucial mantener un orden lógico en la imputación para evitar inconsistencias en los datos [Little and Rubin, 2019].
En este caso, el inicio de síntomas (INI_SIN) debe ocurrir antes que cualquier otra fecha relacionada con la atención médica o el desenlace del caso. Por lo tanto, se decidió calcular la diferencia entre la fecha de inicio de síntomas y la fecha de consulta (FEC_CON), ya que esta es la más cercana en el orden lógico de eventos. Luego, se imputaron los valores faltantes en INI_SIN utilizando la mediana de estas diferencias. La mediana es una medida robusta que minimiza el impacto de valores atípicos, lo que la hace adecuada para este tipo de imputación [Rubin, 1976].
Este enfoque garantizó que los valores imputados en INI_SIN respetaran la línea temporal del dataset, asegurando que la fecha de inicio de síntomas siempre fuera anterior a las fechas de consulta, notificación, hospitalización o defunción. Además, al utilizar la mediana, se redujo el riesgo de introducir sesgos o distorsiones en los datos, lo que es crucial para mantener la integridad del análisis.
Inicialmente, se verificó que las variables INI_SIN(fecha de inicio de síntomas) y FEC_CON (fecha de consulta) estuvieran en el formato correcto (datetime), asegurando que no hubiera inconsistencias en el tipo de datos. Además, se realizó una copia del dataset antes de proceder con la imputación, con el fin de conservar la integridad del dataset original hasta confirmar que la imputación se ejecutó de manera exitosa y correcta.
Se calculó la cantidad de valores faltantes en INI_SIN, la cual resultó igual a 33,001 registros. Posteriormente, se confirmó que no hubiera casos en los que la fecha de inicio de síntomas (INI_SIN) fuera posterior a la fecha de consulta (FEC_CON), ya que esto violaría el orden lógico de los eventos. Esta verificación fue crucial para garantizar que los datos fueran coherentes antes de proceder con la imputación.
# Convertir las columnas a datetime
Data['INI_SIN'] = pd.to_datetime(Data['INI_SIN'], errors='coerce')
Data['FEC_CON'] = pd.to_datetime(Data['FEC_CON'], errors='coerce')
# Copia de DataImpt
DataCopy = Data.copy()
# Valores faltantes en INI_SIN
print("Valores faltantes en INI_SIN:", DataCopy['INI_SIN'].isnull().sum())
Valores faltantes en INI_SIN: 33001
# Identificar casos donde INI_SIN > FEC_CON
Inconsistencias = DataCopy[DataCopy['INI_SIN'] > DataCopy['FEC_CON']]
print("Casos inconsistentes (INI_SIN > FEC_CON):", len(Inconsistencias))
Casos inconsistentes (INI_SIN > FEC_CON): 0
Se creó una nueva columna llamada DiferenciaDias, que corresponde a la diferencia en días entre la fecha de inicio de síntomas (INI_SIN) y la fecha de consulta (FEC_CON). Sin embargo, debido a los valores faltantes en INI_SIN, la columna DiferenciaDias también presentó valores faltantes, lo cual era esperado.
Posteriormente, se verificó que no hubiera diferencias negativas en DiferenciaDias, ya que esto indicaría que la fecha de consulta ocurrió antes que la fecha de inicio de síntomas, lo que violaría el orden lógico de los eventos. Esta verificación confirmó que no existían inconsistencias temporales en los datos disponibles.
Finalmente, se analizaron los valores extremos de DiferenciaDias para determinar si era necesario agrupar los datos en categorías. Este análisis permitió identificar si había valores atípicos que pudieran distorsionar la imputación, como diferencias de días excesivamente grandes o pequeñas. En caso de encontrar valores extremos, se consideraría agrupar las diferencias en rangos temporales para facilitar la imputación y reducir el impacto de posibles outliers.
# Calcular la diferencia en días
DataCopy['DiferenciaDias'] = (DataCopy['FEC_CON'] - DataCopy['INI_SIN']).dt.days
# Verificar la nueva columna
display(DataCopy[['INI_SIN', 'FEC_CON', 'DiferenciaDias']].head(10))
| INI_SIN | FEC_CON | DiferenciaDias | |
|---|---|---|---|
| 0 | 2022-09-13 | 2022-09-13 | 0.0 |
| 1 | 2022-03-05 | 2022-03-05 | 0.0 |
| 2 | NaT | 2022-02-07 | NaN |
| 3 | 2022-11-24 | 2022-11-25 | 1.0 |
| 4 | 2022-05-26 | 2022-05-26 | 0.0 |
| 5 | 2022-05-17 | 2022-05-17 | 0.0 |
| 6 | 2022-11-23 | 2022-11-24 | 1.0 |
| 7 | 2022-09-11 | 2022-09-11 | 0.0 |
| 8 | 2022-09-19 | 2022-09-20 | 1.0 |
| 9 | 2022-11-17 | 2022-11-17 | 0.0 |
# Identificar diferencias negativas
DiferenciasNegativas = DataCopy[DataCopy['DiferenciaDias'] < 0]
print(f"Diferencias negativas en la diferencia de días: {DiferenciasNegativas[['FEC_CON', 'INI_SIN', 'DiferenciaDias']].shape[0]}")
Diferencias negativas en la diferencia de días: 0
# Filtrar los casos con diferencias mayores a 365 días
CasosExtremos = DataCopy[DataCopy['DiferenciaDias'] > 365]
display(CasosExtremos[['FEC_CON', 'INI_SIN', 'DiferenciaDias']])
| FEC_CON | INI_SIN | DiferenciaDias | |
|---|---|---|---|
| 193 | 2022-08-16 | 2021-06-10 | 432.0 |
| 266 | 2022-12-12 | 2002-12-06 | 7311.0 |
| 356 | 2022-01-26 | 2012-01-15 | 3664.0 |
| 830 | 2022-04-04 | 2021-04-02 | 367.0 |
| 1179 | 2022-01-16 | 2021-01-13 | 368.0 |
| ... | ... | ... | ... |
| 371627 | 2019-12-30 | 2018-02-19 | 679.0 |
| 371641 | 2020-07-10 | 2001-11-30 | 6797.0 |
| 371731 | 2020-05-03 | 2017-01-01 | 1218.0 |
| 371868 | 2020-08-04 | 2019-07-01 | 400.0 |
| 371937 | 2020-10-08 | 2019-04-08 | 549.0 |
3254 rows × 3 columns
Se creó una nueva columna llamada Categoria_Diferencia, que clasifica la diferencia en días entre la fecha de inicio de síntomas (INI_SIN) y la fecha de consulta (FEC_CON) en las siguientes categorías:
0 días: Consulta el mismo día que inician los síntomas.
1-7 días: Consulta dentro de la primera semana.
8-30 días: Consulta dentro del primer mes.
31-365 días: Consulta dentro del primer año.
1-2 años: Consulta entre 1 y 2 años después de iniciar los síntomas.
Mayor a 2 años: Consulta más de 2 años después de iniciar los síntomas.
Esta categorización permite agrupar los datos de manera más manejable y facilita el análisis de los patrones temporales entre el inicio de los síntomas y la consulta. Además, ayuda a identificar posibles casos atípicos o extremos que podrían requerir un tratamiento especial durante la imputación.
# Definir las condiciones y elecciones para las nuevas categorías
Condiciones = [
(DataCopy['DiferenciaDias'] == 0),
(DataCopy['DiferenciaDias'] >= 1) & (DataCopy['DiferenciaDias'] <= 7),
(DataCopy['DiferenciaDias'] >= 8) & (DataCopy['DiferenciaDias'] <= 30),
(DataCopy['DiferenciaDias'] >= 31) & (DataCopy['DiferenciaDias'] <= 365),
(DataCopy['DiferenciaDias'] > 365) & (DataCopy['DiferenciaDias'] <= 730), # 1-2 años
(DataCopy['DiferenciaDias'] > 730) # > 2 años
]
Choices = ['0 días', '1-7 días', '8-30 días', '31-365 días', '1-2 años', '> 2 años']
# Actualizar la columna Categoria_Diferencia
DataCopy['Categoria_Diferencia'] = np.select(Condiciones, Choices, default='Desconocido')
# Verificar la distribución de las nuevas categorías
display(DataCopy['Categoria_Diferencia'].value_counts())
| count | |
|---|---|
| Categoria_Diferencia | |
| 0 días | 356925 |
| 1-7 días | 123106 |
| 31-365 días | 36436 |
| Desconocido | 33001 |
| 8-30 días | 29757 |
| > 2 años | 2135 |
| 1-2 años | 1119 |
Para imputar los valores faltantes en INI_SIN (fecha de inicio de síntomas), se siguió un proceso estructurado basado en las categorías de diferencia de días (Categoria_Diferencia), que clasifican el tiempo transcurrido entre el inicio de los síntomas y la fecha de consulta (FEC_CON). Primero, se calcularon las medianas de DiferenciaDias para cada categoría, excluyendo la categoría “Desconocido”, lo que permitió obtener una medida robusta del tiempo típico entre el inicio de los síntomas y la consulta para cada grupo. Luego, se calculó la mediana global de DiferenciaDiaspara casos donde no se pudo asignar una categoría específica. Posteriormente, se imputaron los valores faltantes en INI_SIN restando la mediana correspondiente a cada categoría de la fecha de consulta (FEC_CON). Para los casos en la categoría “Desconocido”, se utilizó la mediana global. Este enfoque garantizó que la imputación respetara la línea temporal de los eventos y mantuviera la coherencia en los datos, asegurando que la fecha de inicio de síntomas fuera siempre anterior a la fecha de consulta. Finalmente, se verificaron los valores imputados para confirmar que el proceso se ejecutó correctamente.
# Calcular la mediana de Dias_Diferencia para cada categoría (excluyendo "Desconocido")
MedianasPorCategoria = DataCopy[DataCopy['Categoria_Diferencia'] != 'Desconocido'].groupby('Categoria_Diferencia')['DiferenciaDias'].median()
display(MedianasPorCategoria)
| DiferenciaDias | |
|---|---|
| Categoria_Diferencia | |
| 0 días | 0.0 |
| 1-2 años | 457.0 |
| 1-7 días | 2.0 |
| 31-365 días | 83.0 |
| 8-30 días | 14.0 |
| > 2 años | 1826.0 |
# Crear una copia del DataFrame antes de la imputación
DataBeforeImpt = DataCopy.copy()
# Calcular la mediana global de Dias_Diferencia (excluyendo "Desconocido")
MedianaGlobal = DataCopy[DataCopy['Categoria_Diferencia'] != 'Desconocido']['DiferenciaDias'].median()
# Imputar los valores faltantes en INI_SIN
for categoria, mediana in MedianasPorCategoria.items():
Mask = (DataCopy['INI_SIN'].isnull()) & (DataCopy['Categoria_Diferencia'] == categoria)
DataCopy.loc[Mask, 'INI_SIN'] = DataCopy['FEC_CON'] - pd.Timedelta(days=mediana)
# Imputar los valores faltantes en "Desconocido" usando la mediana global
MaskDesconocido = (DataCopy['INI_SIN'].isnull()) & (DataCopy['Categoria_Diferencia'] == 'Desconocido')
DataCopy.loc[MaskDesconocido, 'INI_SIN'] = DataCopy['FEC_CON'] - pd.Timedelta(days=MedianaGlobal)
# Verificar los valores imputados
display(DataCopy[['INI_SIN', 'FEC_CON', 'DiferenciaDias', 'Categoria_Diferencia']].head())
| INI_SIN | FEC_CON | DiferenciaDias | Categoria_Diferencia | |
|---|---|---|---|---|
| 0 | 2022-09-13 | 2022-09-13 | 0.0 | 0 días |
| 1 | 2022-03-05 | 2022-03-05 | 0.0 | 0 días |
| 2 | 2022-02-07 | 2022-02-07 | NaN | Desconocido |
| 3 | 2022-11-24 | 2022-11-25 | 1.0 | 1-7 días |
| 4 | 2022-05-26 | 2022-05-26 | 0.0 | 0 días |
Para la fase final de la imputación, se verificó que no quedaran valores faltantes en INI_SIN después del proceso, confirmando que todos los registros habían sido imputados correctamente. Luego, se recalculó la columna DiferenciaDias utilizando las fechas de inicio de síntomas imputadas y la fecha de consulta (FEC_CON), asegurando que no hubiera valores faltantes en esta variable. Finalmente, se analizó la distribución de las categorías en Categoria_Diferencia después de la imputación, lo que permitió evaluar si la imputación había alterado significativamente la distribución original de los tiempos entre el inicio de los síntomas y la consulta. Este análisis confirmó que la imputación mantuvo la coherencia temporal y la integridad de los datos, preparándolos para su uso en análisis posteriores.
# Verificar valores faltantes en INI_SIN después de la imputación
print("Valores faltantes en INI_SIN:", DataCopy['INI_SIN'].isnull().sum())
Valores faltantes en INI_SIN: 0
# Recalcular Dias_Diferencia después de la imputación
DataCopy['DiferenciaDias'] = (DataCopy['FEC_CON'] - DataCopy['INI_SIN']).dt.days
display(DataCopy[['INI_SIN', 'FEC_CON', 'DiferenciaDias', 'Categoria_Diferencia']].head())
| INI_SIN | FEC_CON | DiferenciaDias | Categoria_Diferencia | |
|---|---|---|---|---|
| 0 | 2022-09-13 | 2022-09-13 | 0 | 0 días |
| 1 | 2022-03-05 | 2022-03-05 | 0 | 0 días |
| 2 | 2022-02-07 | 2022-02-07 | 0 | Desconocido |
| 3 | 2022-11-24 | 2022-11-25 | 1 | 1-7 días |
| 4 | 2022-05-26 | 2022-05-26 | 0 | 0 días |
# Recalcular categorías
Condiciones = [
(DataCopy['DiferenciaDias'] == 0),
(DataCopy['DiferenciaDias'] >= 1) & (DataCopy['DiferenciaDias'] <= 7),
(DataCopy['DiferenciaDias'] >= 8) & (DataCopy['DiferenciaDias'] <= 30),
(DataCopy['DiferenciaDias'] >= 31) & (DataCopy['DiferenciaDias'] <= 365),
(DataCopy['DiferenciaDias'] > 365) & (DataCopy['DiferenciaDias'] <= 730), # 1-2 años
(DataCopy['DiferenciaDias'] > 730) # > 2 años
]
Choices = ['0 días', '1-7 días', '8-30 días', '31-365 días', '1-2 años', '> 2 años']
# Actualizar la columna Categoria_Diferencia
DataCopy['Categoria_Diferencia'] = np.select(Condiciones, Choices, default='Desconocido')
# Verificar la distribución de las nuevas categorías
display(DataCopy[['INI_SIN', 'FEC_CON', 'DiferenciaDias', 'Categoria_Diferencia']].head())
| INI_SIN | FEC_CON | DiferenciaDias | Categoria_Diferencia | |
|---|---|---|---|---|
| 0 | 2022-09-13 | 2022-09-13 | 0 | 0 días |
| 1 | 2022-03-05 | 2022-03-05 | 0 | 0 días |
| 2 | 2022-02-07 | 2022-02-07 | 0 | 0 días |
| 3 | 2022-11-24 | 2022-11-25 | 1 | 1-7 días |
| 4 | 2022-05-26 | 2022-05-26 | 0 | 0 días |
GraficarDistribucionCategorias(
data=DataCopy,
columna_categoria='Categoria_Diferencia',
orden_categorias=OrdenCategorias
)
El gráfico muestra la distribución de las categorías de diferencia (Categoria_Diferencia) después de la imputación de la fecha de inicio de síntomas (INI_SIN). La categoría más frecuente es “0 días”, lo que indica que la mayoría de las víctimas buscan atención médica el mismo día en que inician los síntomas. Le sigue en frecuencia la categoría “1-7 días”, que refleja un número significativo de casos en los que las víctimas buscan ayuda dentro de la primera semana. Las categorías “31-365 días” y “8-30 días” tienen frecuencias menores, sugiriendo que un grupo más reducido de víctimas tarda entre un mes y un año en buscar atención. Finalmente, las categorías “> 2 años” y “1-2 años” son las menos frecuentes, lo que indica que son menos comunes los casos en los que las víctimas tardan más de un año en buscar ayuda. Esta distribución confirma que la mayoría de las víctimas buscan atención en un plazo muy corto, mientras que los casos con tiempos más prolongados son menos frecuentes, y la imputación mantuvo la coherencia temporal de los datos.
PlotDateComparisonSubplots('INI_SIN', Data, DataCopy)
La gráfica muestra la distribución de la fecha de inicio de síntomas antes (panel izquierdo) y después (panel derecho) de la imputación. En la primera imagen se aprecian vacíos y fluctuaciones marcadas en ciertos periodos, lo que indica la ausencia de registros o la falta de reporte en algunas fechas. Tras la imputación (panel derecho), se observa un patrón más continuo, donde las brechas se reducen y la serie se estabiliza a lo largo del tiempo. Esto sugiere que la estrategia de imputación permitió rellenar de forma coherente los valores faltantes, sin generar picos anómalos y respetando el orden lógico de los eventos en la línea temporal.
# Copiar todas las imputaciones al dataframe original
Data = DataCopy.copy()
Conclusión del Análisis de Valores Faltantes#
El análisis y tratamiento de los valores faltantes en el dataset se inició corrigiendo e imputando aquellas variables con datos faltantes estructurales, como CBMTE, FEC_DEF, sem_ges y GRU_POB, las cuales presentaban valores ausentes debido a la naturaleza de los datos (por ejemplo, no todas las víctimas están embarazadas o fallecen). Posteriormente, se abordaron las variables con datos faltantes no estructurales, como INI_SIN y COD_PAIS_R, utilizando técnicas específicas como la imputación por mediana, respaldada por la literatura para garantizar la precisión y minimizar sesgos. Además, se respetó la línea temporal en variables como INI_SIN, asegurando que los eventos mantuvieran un orden lógico. La verificación posterior a la imputación confirmó que los valores faltantes fueron manejados adecuadamente, reduciendo su impacto sin distorsionar la distribución original de los datos. Este proceso permitió obtener un dataset más completo y confiable, listo para su uso en análisis posteriores y modelos predictivos.
# Verificar valores faltantes
# Contar valores faltantes por columna
ValoresFaltantes = Data.isnull().sum()
# Crear un DataFrame con los resultados
TablaFaltantes = pd.DataFrame({
'Variable': ValoresFaltantes.index,
'Valores Faltantes': ValoresFaltantes.values
})
# Calcular el porcentaje de valores faltantes por columna
PorcentajeFaltantes = (Data.isnull().sum() / len(Data)) * 100
# Crear un DataFrame con los resultados
TablaFaltantes = pd.DataFrame({
'Variable': ValoresFaltantes.index,
'Valores Faltantes': ValoresFaltantes.values,
'Porcentaje Faltantes': PorcentajeFaltantes.values
})
display(TablaFaltantes)
| Variable | Valores Faltantes | Porcentaje Faltantes | |
|---|---|---|---|
| 0 | FEC_NOT | 0 | 0.0 |
| 1 | SEMANA | 0 | 0.0 |
| 2 | ANO | 0 | 0.0 |
| 3 | EDAD | 0 | 0.0 |
| 4 | UNI_MED | 0 | 0.0 |
| 5 | COD_PAIS_O | 0 | 0.0 |
| 6 | COD_DPTO_O | 0 | 0.0 |
| 7 | COD_MUN_O | 0 | 0.0 |
| 8 | TIP_SS | 0 | 0.0 |
| 9 | PER_ETN | 0 | 0.0 |
| 10 | estrato | 0 | 0.0 |
| 11 | GP_DISCAPA | 0 | 0.0 |
| 12 | GP_DESPLAZ | 0 | 0.0 |
| 13 | GP_MIGRANT | 0 | 0.0 |
| 14 | GP_CARCELA | 0 | 0.0 |
| 15 | GP_GESTAN | 0 | 0.0 |
| 16 | sem_ges | 0 | 0.0 |
| 17 | GP_INDIGEN | 0 | 0.0 |
| 18 | GP_POBICFB | 0 | 0.0 |
| 19 | GP_MAD_COM | 0 | 0.0 |
| 20 | GP_DESMOVI | 0 | 0.0 |
| 21 | GP_PSIQUIA | 0 | 0.0 |
| 22 | GP_VIC_VIO | 0 | 0.0 |
| 23 | GP_OTROS | 0 | 0.0 |
| 24 | COD_PAIS_R | 0 | 0.0 |
| 25 | COD_DPTO_R | 0 | 0.0 |
| 26 | COD_MUN_R | 0 | 0.0 |
| 27 | COD_DPTO_N | 0 | 0.0 |
| 28 | COD_MUN_N | 0 | 0.0 |
| 29 | FEC_CON | 0 | 0.0 |
| 30 | INI_SIN | 0 | 0.0 |
| 31 | TIP_CAS | 0 | 0.0 |
| 32 | PAC_HOS | 0 | 0.0 |
| 33 | FEC_HOS | 0 | 0.0 |
| 34 | CON_FIN | 0 | 0.0 |
| 35 | FEC_DEF | 0 | 0.0 |
| 36 | CBMTE | 0 | 0.0 |
| 37 | Estado_final_de_caso | 0 | 0.0 |
| 38 | DiferenciaDias | 0 | 0.0 |
| 39 | Categoria_Diferencia | 0 | 0.0 |
Creación de la Variable Desenlace Grave#
En el estudio de la violencia de género, resulta prioritario identificar los casos que presentan desenlaces graves —como hospitalizaciones o fallecimientos— para enfocar estrategias de prevención y respuesta. Con este fin, se definió la nueva variable Desenlace_Grave, la cual clasifica los registros en función de la hospitalización y la condición final de la víctima. Dicha variable se convertirá en la variable objetivo (target) en los modelos predictivos, permitiendo estimar la probabilidad de que un caso culmine en un desenlace grave.
Análisis de Variables Relacionadas#
Se emplearon las variables PAC_HOS y CON_FIN para determinar el estado final de la víctima:
PAC_HOS: Indica si la víctima fue hospitalizada (1: sí, 2: no).CON_FIN: Describe la condición final de la víctima (1: viva, 2: muerta).
Para su construcción se definieron las siguientes reglas:
0: Víctima viva y no hospitalizada
Si CON_FIN = 1 (viva) y PAC_HOS = 2 (no hospitalizada).
1: Víctima viva y hospitalizada
Si CON_FIN = 1 (viva) y PAC_HOS = 1 (hospitalizada).
2: Víctima fallecida
Si CON_FIN = 2 (muerta).
Este enfoque garantiza que la variable Desenlace_Grave refleje de manera clara y coherente el estado final de las mujeres en el estudio, facilitando su uso como variable objetivo en los modelos predictivos.
Data['PAC_HOS'] = Data['PAC_HOS'].astype(int)
Data['CON_FIN'] = Data['CON_FIN'].astype(int)
def CrearDesenlaceGrave(row):
if row['CON_FIN'] == 2: # Víctima fallecida
return 2
elif row['CON_FIN'] == 1 and row['PAC_HOS'] == 1: # Víctima viva y hospitalizada
return 1
elif row['CON_FIN'] == 1 and row['PAC_HOS'] == 2: # Víctima viva y no hospitalizada
return 0
else:
return None
Data['Desenlace_Grave'] = Data.apply(CrearDesenlaceGrave, axis=1)
Verificación de la nueva variable#
Se verificó la nueva variable Desenlace_Grave comparándola con las variables originales PAC_HOS y CON_FIN para asegurar que la clasificación fuera correcta.
Se muestran los primeros 10 registros para validar la creación de la variable.
display(Data[['CON_FIN', 'PAC_HOS', 'Desenlace_Grave']].head(10))
| CON_FIN | PAC_HOS | Desenlace_Grave | |
|---|---|---|---|
| 0 | 1 | 2 | 0 |
| 1 | 1 | 2 | 0 |
| 2 | 1 | 2 | 0 |
| 3 | 1 | 2 | 0 |
| 4 | 1 | 1 | 1 |
| 5 | 1 | 2 | 0 |
| 6 | 1 | 2 | 0 |
| 7 | 1 | 2 | 0 |
| 8 | 1 | 2 | 0 |
| 9 | 1 | 2 | 0 |
###Justificación y Relevancia
La creación de la variable Desenlace_Grave es fundamental para el análisis de la violencia de género, ya que permite identificar y priorizar los casos más graves, como hospitalizaciones y muertes. Según Campbell [Campbell, Webster, Koziol-McLain, Block, Campbell, Curry, Gary, Glass, McFarlane, Sachs, and others, 2003], la evaluación del riesgo en casos de violencia de género debe incluir indicadores claros de desenlaces graves, como la hospitalización y la mortalidad, para diseñar intervenciones efectivas. Además, García-Moreno [García-Moreno, Jansen, Ellsberg, Heise, and Watts, 2005], destacan que la identificación temprana de casos de alto riesgo es clave para prevenir desenlaces fatales y mejorar la atención a las víctimas.
Esta variable no solo servirá como la variable objetivo en los modelos predictivos, sino que también proporcionará una base sólida para la toma de decisiones en políticas públicas y estrategias de intervención. Como señala Heise y García-Moreno [García-Moreno, Jansen, Ellsberg, Heise, and Watts, 2005, Heise and Garcia-Moreno, 2002], la priorización de recursos en casos de violencia de género puede salvar vidas y reducir los costos sociales y económicos asociados.
Análisis de Valores Atípicos#
En el análisis de datos, los valores atípicos son observaciones que se desvían notablemente del resto de la distribución y pueden distorsionar tanto las estadísticas descriptivas como los modelos predictivos. Estos valores extremos pueden surgir por errores en la entrada de datos, problemas en la medición o, en algunos casos, pueden representar fenómenos genuinamente inusuales.
La identificación de valores atípicos se realiza comúnmente mediante técnicas gráficas, como los diagramas de caja, que utilizan los bigotes para señalar observaciones que se encuentran fuera del rango intercuartílico. Según Tukey (1977) [], estas herramientas permiten detectar de forma intuitiva aquellas observaciones que pueden influir de manera desproporcionada en el análisis.
Una vez identificados, es crucial evaluar el contexto de cada valor atípico: en algunos casos, se pueden corregir errores en la captura de datos, mientras que en otros puede ser más apropiado imputar o, en situaciones extremas, eliminar estos registros para no comprometer la robustez del análisis. Este tratamiento cuidadoso de los valores atípicos asegura que las conclusiones extraídas sean representativas y confiables para la toma de decisiones y el desarrollo de intervenciones.
NumericCols = Data.select_dtypes(include=['number']).columns.tolist()
DatetimeCols = Data.select_dtypes(include=['datetime']).columns.tolist()
print("Columnas numéricas:", NumericCols)
print("Columnas de fecha:", DatetimeCols)
Columnas numéricas: ['SEMANA', 'ANO', 'EDAD', 'sem_ges', 'DiferenciaDias']
Columnas de fecha: ['FEC_NOT', 'FEC_CON', 'INI_SIN', 'FEC_HOS', 'FEC_DEF']
Análisis de Valores Atípicos en Variables Numéricas#
Análisis de Atípicos en la Semana Epidemeológica (SEMANA)#
PlotBoxAndHistogram(Data, 'SEMANA')
El boxplot de la variable SEMANA muestra una distribución bastante concentrada entre los valores 1 y 53, con una mediana cercana a la semana 27. La línea que indica el valor medio (mean ≈ 27) coincide de forma aproximada con la mediana, lo que sugiere una distribución relativamente simétrica. Los valores máximo y mínimo se ubican en torno a 1 y 53, lo que es esperable si se trata de semanas epidemiológicas a lo largo de un año. No se aprecian puntos aislados o bigotes particularmente alargados, por lo que no hay indicios claros de valores atípicos en esta variable.
En el histograma, se observa una distribución relativamente uniforme a lo largo de las 53 semanas, aunque se detectan ligeros incrementos en la zona central (alrededor de las semanas 20 a 30). Esto indica que la mayoría de los registros se concentran de forma similar en cada semana, sin presentar acumulaciones extremas ni valores fuera de rango. En conjunto, ambos gráficos sugieren que SEMANA no presenta outliers significativos y mantiene un comportamiento bastante estable a lo largo del tiempo.
Análisis de Atípicos en el Año de Notificación (AÑO)#
PlotBoxAndHistogram(Data, 'ANO')
El boxplot refleja que los datos de la variable ANO se concentran entre 2018 y 2023, con una mediana alrededor de 2020–2021 y sin valores fuera de este rango. El máximo (2023) y el mínimo (2018) coinciden con los límites definidos para la inclusión de registros, de modo que no se observan valores atípicos por fuera del intervalo esperado.
En el histograma, se aprecia que la mayoría de los registros se distribuyen de manera relativamente uniforme a lo largo de estos seis años, aunque en algunos años —como 2021 y 2022— la frecuencia es algo mayor. Este comportamiento concuerda con la idea de que el dataset se construyó a partir de los casos reportados en Sivigila entre 2018 y 2023, sin mostrar concentraciones atípicas ni años con recuentos extremadamente bajos o altos en comparación con el resto.
Análisis de Atípicos en Edad#
PlotBoxAndHistogram(Data, 'EDAD')